Annan bắt đầu làm việc cho Tổ chức Y tế Thế giới (WHO), một tổ chức của Liên Hiệp Quốc, vào năm 1962. Từ 1974 đến 1976 ông về Ghana làm giám đốc du lịch.

Sau đó, ông trở lại Liên Hiệp Quốc đảm trách chức vụ Phụ tá Tổng Thư ký chuyên trách các lĩnh vực quản lý nhân lực và phối hợp an ninh từ 1987 đến 1990; Hoạch định chương trình, ngân quỹ và tài chính từ 1990 đến 1992; và phụ trách các chiến dịch gìn giữ hoà bình từ tháng 3 năm 1993 đến tháng 2 năm 1994.

Trong tác phẩm Shake Hands with the Devil: The Failure of Humanity in Rwanda (Bắt tay với quỷ dữ: Sự thất bại của nhân loại tại Rwanda), tướng Roméo Dallaire cho rằng Annan đã tỏ ra thụ động đối với cuộc diệt chủng năm 1994 tại Rwanda. Ông nói rằng Annan, lúc ấy là phụ tá tổng thư ký đặc trách các chiến dịch gìn giữ hoà bình, không chịu gửi quân Liên Hiệp Quốc đến can thiệp để giải quyết cuộc tranh chấp, cũng như không chịu cung cấp thêm viện trợ.

Đến tháng 10 năm 1995, Annan được bổ nhiệm làm đặc phái viên cho Tổng thư ký Liên Hiệp Quốc tại Nam Tư cũ, phục vụ trong thời gian 5 tháng, rồi trở về đảm trách chức vụ phụ tá tổng thư ký vào tháng 4 năm 1996.